Sigmoid

$$f(x)=\frac{1}{1+e^{-x}}$$

: Sigmoid Function은 Logistic Function의 특별한 사례이다.
0보다 클수록 1에 가깝게, 0보다 작을수록 0에 가까운 숫자로 바꿔준다.

Problem

---

Back Propagation이 진행되면서, 기울기가 곱해지면서 그 기울기가 0에 수렴하는 문제가 발생할 수도 있다. 이를 해결하기 위해 ReLU가 사용된다.